package com.SparkCore.RDD.Operator.Transform

import org.apache.spark.{SparkConf, SparkContext}


/**
 * 获取每个分区的最大值
 */
object Spark02_RDD_Operator_Transform_Test {

  def main(args: Array[String]): Unit = {

    //创建环境
    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("RDD")
    val sparkContext = new SparkContext(sparkConf)

    //创建RDD算子 -- mapPartitons
    val rdd = sparkContext.makeRDD(List(1,2,3,4) , 2 )

    //分区 [1,2]  [3,4]
    //分区最大值  2  ， 4

    val mpRDD = rdd.mapPartitions(
      iter => {
        List(iter.max).iterator
      }
    )

    mpRDD.collect().foreach(println)



    //关闭环境
    sparkContext.stop()
  }
}
